Toward a Gricean Retreat: Probing LLMs for Knowledge Boundaries and Referent Specificity
迈向Gricean后退:探测LLM的知识边界与指称特异性
🧭 LLM知识边界与生成特异性探测
University of Colorado, Boulder
LLM内部已编码知识边界与指称特异性信号,但生成时未协调,仍倾向编造具体细节而非退回通用陈述
📌 工作参考价值(4 点)
- 在商品文案生成、推荐理由或对话式电商中,对于长尾/新品等知识边界外的实体,可主动降低指称特异性:生成更通用的描述(如“某品牌运动鞋”而非具体型号),减少事实错误,提升可信度。
- 利用论文发现:模型激活中已包含知识边界和特异性信号,可训练轻量探针或使用激活引导(steering)在解码时调整logits,对低置信度实体自动触发“通用化”策略,无需重新训练大模型。
- 在RAG或知识增强场景中,当检索不到实体的具体信息时,可提示模型生成更笼统但真实的回复,并可将知识边界信号作为拒答或回退的触发条件。
- 该工作为幻觉控制提供了新思路:不是直接抑制幻觉,而是引导模型退回到安全的特异性层级,这比单纯惩罚更符合合作沟通原则,可尝试作为RLHF的额外奖励信号。